Với những biến cố liên tục ở trung nguyên, Hậu Triệu đã mất hẳn, nước Nhiễm Ngụy mới thành lập cũng bị tiêu diệt; lại hình thành nước Tiền Tần, cùng với nước Tiền Yên giữ trung nguyên.

Tháng 2 năm 354, Hoàn Ôn dẫn quân từ Giang Lăng đi đánh nước Tiền Tần (thành lập năm 350 từ sự tan vỡ của Hậu Triệu). Quân Đông Tấn chia 2 ngả, quân thuỷ đi tới Nam Hương, quân bộ đi đến Vũ Quan. Hoàn Ôn lại sai thứ sử Lương châu nhà Tấn là Tư Mã Huân đi đường hang Tý Ngọ để đánh quân Tần từ phía sau.

Tháng 3 năm 354, Hoàn Ôn phá được Thượng Lạc, Thanh Nê. Đến tháng 4 năm 354, ông giao chiến với quân chủ lực Tần ở Lam Điền. Em Hoàn Ôn là Hoàn Sung đánh bại tướng Phù Hùng là em vua Tần Phù Kiện. Quân Tần bỏ chạy, Hoàn Ôn đuổi theo tới ngoại thành Tràng An. Dân chúng người Hán bị khổ bị sự cai trị của Ngũ Hồ, đua nhau đổ ra đón, lấy lương thực ra khao quân Tấn. Có người già trong vùng cảm động nói: "Không ngờ hôm nay còn được thấy quan quân".

Tuy nhân dân nghênh đón Hoàn Ôn nhưng các địa chủ ở gần Tràng An lại không có ai hoan nghênh ông. Hoàn Ôn lấy làm lạ. Hỏi ra ông mới biết rằng từ khi vào chiếm trung nguyên, các triều đình người Hồ đã dùng chính sách ưu đãi địa chủ người Hán, cất nhắc làm quan và cho miễn sưu dịch. Vì thế các địa chủ người Hán rất ủng hộ các triều đình Ngũ Hồ. Hoàn Ôn đóng quân thêm một thời gian nữa nhưng vẫn không thể kêu gọi được tầng lớp này. Hoàn Ôn cũng đã cầu danh sĩ người Hán là Vương Mãnh ra giúp mình, nhưng Mãnh từ chối và quay sang giúp quý tộc Tiền Tần, người sau đó trở thành vua Tần là Phù Kiên.

Hoàn Ôn đi đánh địch hành quân xa, lương thảo vận không kịp. Ông định gặt lúa ngoài đồng thì Tần vương Phù Kiện đã sai quân đi đốt hết lúa ngoài đồng trước khi rút lui, khiến quân Tấn bị đói. Tháng 6 năm 354, Phù Kiện chỉnh lại đội ngũ được 8 vạn quân, bắt đầu phản công. Quân Tấn thiếu lương không ở lâu được, Hoàn Ôn đành phải rút quân, trên đường về tới Đồng Quan bị quân Tần tập kích, bị thiệt hại.